Monitoring General Functions in Distributed Systems with Minimal Communication

1 1 Safe Zones: An Efficient Approach to Distributed Monitoring 3 1.1 Chapter Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.1 Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.2.2 Preliminaries: Minkowski Average . . . . . . . . . . . . . . . . . 8 1.3 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.4 Overview of the Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.4.1 Safe-Zone Allocation as an Optimization Problem . . . . . . . . 11 1.4.2 The Parametric Family of Allowable Safe Zone Shapes . . . . . . 13 1.4.3 Convexity of S and the Safe Zones . . . . . . . . . . . . . . . . . 13 1.5 Safe Zone Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.5.1 Computing the Target Function . . . . . . . . . . . . . . . . . . . 15 1.5.2 Checking the Constraints . . . . . . . . . . . . . . . . . . . . . . 15 1.6 Hierarchical Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.7 The Complexity of Computing Optimal Safe Zones . . . . . . . . . . . . 18 1.8 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.8.1 Data, Methods, and Monitored Functions . . . . . . . . . . . . . 21 1.8.2 Ratio Queries with Triangular Safe Zones . . . . . . . . . . . . . 22 1.8.3 Improvement over GM Algorithm . . . . . . . . . . . . . . . . . . 23 1.8.4 Ratio Queries: Hierarchical Implementation . . . . . . . . . . . 23 1.8.5 Chi-square monitoring in 5 dimensions with axis-aligned boxshaped safe zones . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 1.8.6 3-Dimensional Data, Quadratic Function, Polygonal Safe Zones . 26 1.8.7 Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 1.8.8 Improvement Factor and Dimensionality . . . . . . . . . . . . . . 28 1.9 Chapter Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 T ec hn io n C om pu te r Sc ie nc e D ep ar tm en t M .S c. T he si s M SC -2 01 221 2 01 2 2 Discrete Safe Zones: Biclique Approach 29 2.1 Chapter Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.2 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.3 Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.4 Biclique Formalization k = 2 . . . . . . . . . . . . . . . . . . . . . . . . 32 2.4.1 Greedy Heuristic . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 2.4.2 Linear Programming . . . . . . . . . . . . . . . . . . . . . . . . . 34 2.5 Generalized Biclique Formalization . . . . . . . . . . . . . . . . . . . . . 34 2.6 Hierarchical Heuristic . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 2.6.1 Classes of functions . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.6.2 Pruning nodes in the Biclique problem . . . . . . . . . . . . . . . 38 2.7 Advantages over the geometric Safe Zones . . . . . . . . . . . . . . . . . 39 3 Violation Resolution in Distributed Stream Networks 41 3.1 Chapter Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.2 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.3 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.4 Violation Resolution and Minimum Resolving Set . . . . . . . . . . . . . 44 3.4.1 Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.4.2 Resolving Local Violations . . . . . . . . . . . . . . . . . . . . . 45 3.4.3 Running Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 48 3.5 Generic Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 3.5.1 Minimum Resolving Set is NP-Hard . . . . . . . . . . . . . . . . 51 3.5.2 Probabilistic Analysis of the Algorithm . . . . . . . . . . . . . . 52 3.6 Homogeneous Data Instance . . . . . . . . . . . . . . . . . . . . . . . . . 56 3.7 Heterogeneous Data Instance . . . . . . . . . . . . . . . . . . . . . . . . 57 3.7.1 The Heterogeneous Data Challenge . . . . . . . . . . . . . . . . . 57 3.7.2 Maximum Matching Tree Algorithm . . . . . . . . . . . . . . . . 57 3.7.3 Maximum Matching Tree Construction . . . . . . . . . . . . . . 58 3.7.4 Distributed Variant of MMT . . . . . . . . . . . . . . . . . . . . 61 3.8 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3.8.1 Data sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3.8.2 Scoring Functions and Local Constraints . . . . . . . . . . . . . . 62 3.8.3 Performance Metrics . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.8.4 Compared Instances . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.8.5 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . 65 3.9 Chapter Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66